Rajiv Gandhi dilahirkan dalm keluarga politik terkenal. Datuknya adalah pemimpin kemerdekaan India, Jawaharlal Nehru, yang kemudian menjadi Perdana Menteri India pertama selepas merdeka 1949.

Rajiv tiada kaitan dengan Mahatma Gandhi, walaupun mereka berkongsi nama keluarga . Bapanya Feroze, adalah ahli tarawal Parti Kongres India. Ibunya Kamala Nehru pernah berkerja dengan parti itu di Allahabad. Mereka bertambah rapat ketika berada di England dan perkahwinan mereka pada Mac 1942 awalnya dibantah oleh Jawaharlal Nehru kerana agamanya (Zoroastrian) .

Rajiv dilahirkan pada 1944, semasa ibu bapanya keluar masuk penjara British. Pada Ogos 1947, Jawaharlal Nehru menjadi Perdana Menteri India yang merdeka.Dia dan keluarga menetap di Allahabad kemudian pindah ke Lucknow.Feroze menjadi editor akhbar The National Herald yang ditubuhkan oleh Motilal Nehru. Bagaimanapun, perkahwinan mereka bergoncang dan pada 1949, Indira dan dua anak lelaki pindah ke Delhi dan menetap bersama Jawaharlal. Feroze pula terus bekerja di Lucknow.Pada 1952, Indira membantu Feroze berkempen dalam pilihan raya parlimen India menentang Rae Bareli.

Setelah menjadi ahli parlimen, Feroze Gandhi pindah ke Delhi tetapi Indira terus tinggal dengan bapanya. Feroze mencabar Skandar rasuah Haridas Mundhra . Jawaharlal mahu skandal itu diselesaikan secara dalaman tetapi pada 16 Disember 1957, Feroze tetap enggan. Skandal itu disiasat oleh Hakim M C Chagla hingga membawa kepada pemecatan sekutu Nehru seperti menteri kewangan TT Krishnamachari dan ini terus merenggangkan hubungannya dengan Jawaharlal.

Selepas Feroze diserang penyakit jantung pada 1958, keluarga dapat dirapatkan semula ketika mereka bercuti di Kashmir. Feroze mennggal dunia pada 1960.